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(57) Abstract: The invention relates to a method of encoding 
and decoding an image sequence by means of hierarchical tem- 
poral analysis. According to the invention, movement -compen- 
sated temporal filtering (MCTF) is performed, the temporal fil- 
tering being replaced by intra mode encoding in order to obtain 
at least one low (L)- or high (H) -frequency image if the current 
image has a level of correlation with a preceding image that is 
below a threshold. The low (L) -frequency images obtained are 
subsequently adjusted to scale in order to be adapted in terms of 
energy to the images obtained by movement-compensated tem- 
poral filtering. The invention is characterised in that, at the end 
of the analysis, it comprises the following steps: selection of the 
images obtained by intra encoding of an image of the lower de- 
composition level with the additional condition, for the high-fre- 
quency images, said image originating from intra encoding; and 
calibration of the selected image, involving at least one step that 
is the reverse of the scale adjustment step. The invention also re- 
lates to the applications thereof in relation to video compression 
with temporal prediction. 

(57) Abrege : Le procede realise un filtrage temporel compense 
en mouvement (MCTF), le filtrage temporel etant remplace par 
un codage en mode intra pour obtenir au moins une image de 
frequence basse (L) ou haute (H) si l'image courante a un niveau 
de correlation avec une image precedente inferieur a un seuil, 
les images obtenues de frequence basse (L) etant alors mises a 
l'echelle pour etre adaptees, au niveau energetique, aux images 
obtenues par filtrage temporel compense en mouvement, et est 
caracterise en ce que, en fin d'analyse : - il selectionne les images 
obtenues par un codage intra d'une image du niveau de decom- 
position inferieur avec 
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la condition supplementaire, pour les images haute frequence, que cette image provient elle-meme d'un codage intra. - il calibre l'im- 
age selectionnee en effectuant au moins une etape inverse de l'etape de mise a l'echelle. Les applications concernent la compression 
video avec prediction temporelle. 
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PROCEDE DE CODAGE ET DE DECODAGE D'UNE SEQUENCE 
D'IMAGES PAR ANALYSE TEMPORELLE HIERARCHIQUE 



5 Uinvention concerne un precede de codage et de decodage 

video d'une sequence d'image codee par analyse temporelle hierarchique 
exploitant le filtrage temporel compens6 en mouvement 

Le domaine est celui de la compression video basee sur des 
schemas a echelonnabilite spatiale et/ou temporelle dits aussi « scalables ». 
10 II s'agit par exemple d'un codage en ondelettes 2D+t comportant un filtrage 
temporel compense en mouvement. 

Dans les standards de codage dits hybrides, tels que MPEG-1, 
MPEG-2, MPEG-4 3 h264, comme dans la plupart des schemas de codage 
sous-bande 2D+t, tels que MC-EZBC acronyme de I'anglais Motion 
15 Compensated Embedded Zero Block Context, la premiere etape de la chame 
de codage consiste a tirer parti de la redondance temporelle entre images 
successives, avant d'exploiter la redondance spatiale au sein d'une image. 

La figure 1 repn§sente un schema d'un codeur video selon Tart 

anterieur. 

20 Le signal video est transmis a un circuit d'analyse temporelle 1 . 

Un circuit d'estimation de mouvement 2 est relie a ce premier circuit pour 
estimer le mouvement entre deux images regues par le codeur. Les 
informations de mouvement sont transmises au circuit 1 et a un circuit 6 de 
codage, par exemple sous forme de champs de vecteurs mouvement. La 

25 sortie du circuit 1 est transmise a un circuit d'analyse spatiale 3 qui extrait, de 
la texture, les coefficients de frequence de Pimage. Ces coefficients sont 
ensuite quantifies puis codes par un codage entropique, circuit 4. Ces 
informations codees et celles de mouvement sont transmises a un circuit de 
mise en paquets ou paquetiseur 5 qui envoie les donn6es vid£o sous forme 

30 de paquets video pour constituer le flux de donnees video. 

Le circuit d'analyse temporelle 1 realise une prediction 
temporelle compensee en mouvement dans le cas d'un schema hybride ou 
un filtrage temporel compense en mouvement dans le cas d'un schema de 
codage sous-bande. Les algorithmes de codage avec prediction temporelle 

35 consistent a operer de la compensation de mouvement pour generer des 
images de prediction qui vont servir ulterieurement dans le processus de 
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codage. Ces algorithmes reposent sur le meme principe. Les images a coder 
sont predites a partir d'une ou plusieurs images precedemment codees, 
appelees images de reference. C'est le cas dans ies standards MPEG video 
avec ies images Predites (P) et Bi-directionnelles ou Bi-predites (B). La 
5 prediction consiste a effectuer une compensation de mouvement a partir de 
ces images de reference et de vecteurs mouvement associes a I'image 
courante. Ce qui est ensuite cod6 est le r6sidu de la prediction, c'est-^-dire la 
difference entre Fimage courante et Fimage de prediction temporelle. Le 
mouvement est par exemple decrit par blocs de pixels et la compensation en 

10 mouvement effectuee par bloc. 

Le circuit d'analyse spatiale 3 realise une decomposition en 
ondelettes ou une transform^ cosinus discrete. Le codage entropique du 
circuit 4 peut etre un codage de type VLC, acronyme de Tanglais Variable 
Length Coding, ou un codage de type arithmetique. 

15 Le circuit de paquetisation a pour fonction de decouper 

rinformation de texture et de mouvement provenant respectivement du circuit 
de codage entropique et du circuit de codage des champs de mouvement en 
sous-ensembles coh6rents selon ieur frequence spatiale, temporelle, et leur 
importance, par exemple leur poids dans une approche de codage par plans 

20 de bits. Ainsi le flux binaire obtenu est echelonnable ou "scalable" 
independamment en resolution, en frequence trame et en fidelite. 

Les champs de mouvement estimes correspondent a la 
resolution de la source. L'etape de compensation en mouvement du codeur, 
qu'elle soit faite par filtrage ou prediction est done executee sur des images a 

25 pleine resolution tandis qu'au decodeur, l'etape de compensation de 
mouvement peut etre executee sur des images de resolution moindre, avec 
des champs de mouvement remis a F6chelle. 

Le but principal du filtrage temporel avec compensation en 
30 mouvement, aussi connu sous I'acronyme MCTF, de Tappellation anglaise 
Motion Compensated Temporal Filtering, est de generer des images haute 
frequence H necessitant le minimum de bits pour le codage. Une autre 
contrainte est de reduire autant que possible le nombre de pixels non 
connectes, e'est a dire non relies par les vecteurs mouvement. Ces deux 
35 aspects sont directement dependant de la qualite du champ de mouvement. 
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Les informations filtrees sont d'autant plus correlees que le mouvement 
exploite pour le filtrage est de bonne qualite. 

Dans certains cas, cette qualite de mouvement n'est pas 
satisfaisante, par exemple si le mouvement est trap complexe, trop important 
5 ou s'il y a une coupure de scene. Cela resulte alors en un exces d'energie 
dans les images hautes frequences H et dans un nombre important de pixels 
non connects dans les images basse frequence L, en final en un coQt de 
codage important et une mauvaise repartition de la qualite visuelle au sein du 
groupe d'images decodees. 

10 Sexploitation de GOP adaptatif permet de prendre en compte 

ce probleme. La taille du GOP est adaptee de maniere dynamique en 
fonction du pourcentage de pixels non connects. Si le nombre total de 
pixels non connectes dans une image est superieur a un seuil predefini, par 
exemple de I'ordre de 60 a 75 %, lors de I'estimation de mouvement 

15 effectuee a un niveau de decomposition I, la decomposition temporelle en 
sous-bandes est arretee. Le GOP initial est modifie en taille pour donner 
deux GOPs, la taille du premier GOP etant automatiquement forcee a 2 1 . 
Cette solution oblige cependant & avoir des GOPs de taille variable, la 
gestion de tels GOPs est complexe. 

20 Une autre solution consiste a exploiter d'autres modes de 

codage tels que le codage en mode intra, lors de la decomposition 
temporelle. S'il existe un nombre de pixels non connectes important, un 
codage intra est realise. Mais la dynamique des images doit alors etre 
adaptee a celle des images obtenues par filtrage MCTF, entramant un 

25 surcout de codage. Ceci au detriment des images codees selon le mode 
MCTF et done de la qualite globale de la sequence d'images reconstitute. 

L'invention a pour but de pallier les inconvenients precites. 
Un des objets de l'invention est un proc6d£ de codage d'une 
30 sequence d'images comprenant une analyse temporelle hierarchique d'un 
groupe d'images realisant un filtrage temporel compense en mouvement de 
paires successives d'images pour fournir des images de frequence 
temporelle basse et des images de frequence temporelle haute a differents 
niveaux de decomposition temporelle, cette analyse realisant, pour un niveau 
35 de decomposition temporelle donne et pour une paire d'images de frequence 
temporelle basse, une etape d'estimation de mouvement d'une image 
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courante B vers une image precedente de reference A pour fournir des 
vecteurs mouvement puis un filtrage temporel compense en mouvement de 
ces images pour fournir une image de frequence temporelle basse (L) et une 
image de frequence temporelle haute (H) d'un niveau de decomposition 
5 superieur, le dit filtrage temporel etant remplace par un codage en mode intra 
pour obtenir au moins une image de frequence basse (L) ou haute (H) si 
Fimage courante a un niveau de correlation avec une image pr6c6dente 
inferieur a un seuil, les images obtenues de frequence basse (L) etant alors 
mises a I'echelle pour etre adaptees, au niveau energetique, aux images 
10 obtenues par le dit fiitrage temporel compense en mouvement, caracterise 
en ce que, parmi I'image basse frequence et les images haute frequence 
finales d6compos£es obtenues en fin d'analyse : 

- il selectionne les images obtenues par un codage intra d'une 
image du niveau de decomposition inferieur avec la condition 

15 supplemental, pour les images haute frequence, que cette image provient 
elle-meme d'un codage intra. 

- il calibre Pimage selectionnee en effectuant au moins une etape 
inverse de I'etape de mise a I'echelle. 

Le nombre d'etape inverses effectuees correspond au nombre de 
20 codages intra successifs d'une image basse frequence (L) pour arriver a 
Fimage selectionnee s'il s'agit d'une image selectionnee haute frequence, ce 
nombre etant increments de un s'il s'agit de I'image selectionnee basse 
frequence (L). 

Selon une mise en ceuvre particuliere, le precede comporte, pour 
25 le caicul d'une image frequence basse L ou haute H, un filtrage temporel 
entre I'image courante et une image suivante de la paire d'images suivante, 
si la correlation entre I'image courante et I'image precedente est inferieure a 
un seuil et si la correlation entre I'image courante et cette image suivante est 
superieure a un seuil, I'autre image H ou L etant obtenue par codage intra et 
30 en ce que cette operation de filtrage est assimilee au codage intra et non pas 
au filtrage temporel pour I'etape de selection. 

Selon une mise en oeuvre particuliere, le precede affecte a chaque 
image du groupe d'images un numero d'image, il effectue un suivi de ces 



images numerotees lors de la decomposition en attribuant un compteur pour 
chaque numero, ce compteur etant actualise a chaque etape, 

- le compteur est increments chaque fois qu'une image de 
frequence basse (L) est obtenue en mode intra, 

- le compteur est inchange chaque fois qu'une image de 
frequence haute (H) est obtenue en mode intra ou lors d'un filtrage temporel 
avec une image suivante, 

- le compteur est rem is a zero chaque fois qu'une image est 
obtenue par filtrage temporel compense en mouvement, avec une image 
prScedente. 

L'invention concerne egalement un procede de decodage d'une 
sequence d'images codees selon le procede precedernment decrit, 
caracterise en ce qu'il effectue une etape de calibrage inverse d'images 
selectionnees a decoder, la selection des images et le nombre d'etapes 
inverses etant fonction d'une information associee a 1'image a decoder. Cette 
information est par exemple la valeur du compteur affecte a I'image lors du 
codage. 

L'invention concerne Egalement un codeur pour la mise en ceuvre 
du procede decrit, comportant un circuit d'analyse temporelle exploitant le 
filtrage temporel compense en mouvement et le codage intra, caracterise en 
ce que le circuit selectionne, parmi I'image basse frequence et les images 
haute frequence finales decomposees obtenues en fin d'analyse, les images 
obtenues par un codage intra d'une image du niveau de decomposition 
inferieur ou par un filtrage temporel entre 1'image courante et une image 
suivante du niveau de decomposition inferieur, a\/ec la condition 
supplemental, pour les images haute frequence, que cette image provient 
elle-meme d'un codage intra et en ce qu'il effectue au moins une etape 
inverse de Tetape de mise a Pechelle pour les images selectionnees. 

L'invention concerne egalement un decodeur pour le decodage de 
sequence d'images codees selon le procede de la revendication 1, 
comportant un circuit de synthese temporelle, caracterise en ce que le circuit 
comporte des moyens pour effectuer un calibrage inverse d'images a 
decoder, la selection des images et le nombre de calibrages inverses etant 
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fonction d'une information associee a I'image a decoder et regue par le 
decodeur. 

Grace a cette operation inverse de mise a Techelle des images 
5 de type intra, les images codees selon le mode MCTF ne sont pas 
penalisees. La repartition de la qualite des images sur I'ensemble d'un GOP 
comportant a !a fois des images codees en intra ou selon le mode MCTF est 
amelioree. Les informations de mode de codage transmises au decodeur 
permettent de recalibrer les images intra pour effectuer la synthese des 
10 images. 

Le filtrage temporel etant realise de maniere conditionnelle, 
selon la qualite du mouvement, la decomposition temporelle en sous-bandes 
peut etre effectuee jusqu'au dernier niveau. Quelque soit la qualite du 
mouvement, la structure du GOP est conservee. La taille des GOPs peut etre 
15 maintenue constante, facilitant la gestion de debit et de traitement, meme si 
une coupure de scdne a lieu au milieu d'un GOP. Si Ton exploite des GOPs 
de taille variable, la qualite d'image est amelioree. 

D'autres particularites et avantages de ^invention ressortiront 
20 mieux dans la description suivante donnee a titre d'exemple non limitatif et 
faite en regard des figures annexees qui represented : 

- la figure 1 un schema de codage selon Tart anterieur, 

- la figure 2 3 un filtrage temporel compense en mouvement sur 
un GOP de 16 images, 

25 - la figure 3, un circuit de codage, 

- la figure 4, un organigramme de codage, 

- la figure 5, un circuit de d£codage. 

La figure 2 represente de maniere synthetique les operations 
30 de filtrage temporel compense en mouvement realisees par le circuit 
d'analyse temporelle 4, avec une decomposition a 4 niveaux pour des GOPs 
comportant, dans cet exemple, 16 images representees en traits gras. 

Le mode de filtrage utilise est appele « lifting ». Au lieu d'utiiiser 
un filtrage complexe pour le codage en ondelettes, exploitant un filtre lineaire 
35 de longueur importante, dans notre exemple le filtrage serait effectue sur un 
groupe de 16 images, ce procede de filtrage consiste, de maniere connue, a 
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« factoriser » le filtre en exploitant des filtres de longueur iimitee, par 
exemple deux si Ton choisit de filtrer les echantilions deux a deux, ce flltrage 
etant reconduit pour chaque niveau de decomposition. On considere done le 
cas ou le filtrage dans le sens du mouvement est effectue sur des paires 
5 d'images. Le filtrage basse frequence et haute frequence, sur chacune des 
paires du GOP, produit respectivement, au premier niveau de decomposition 
temporelle, 8 images de frequence temporelle basse (t-L) et 8 images de 
frequence temporelle haute (t-H). 

Les images de frequence temporelle basse sont ensuite 

10 decomposees a nouveau selon le meme precede. Le filtrage passe bas de 
ces images fournit 4 nouvelies images de frequence temporelle basse t-LL et 
le filtrage passe-haut de ces m§mes images fournit 4 images de frequence 
temporelle haute t-LH. Le troisieme niveau de decomposition fournit 2 
images de frequence temporelle basse t-LLL et 2 images de frequence 

15 temporelle haute t-LLH. Le quatrieme et dernier niveau fournit une image de 
frequence temporelle basse t-LLLL et une image de frequence temporelle 
haute t-LLLH. 

Cette decomposition temporelle est une decomposition 5 
bandes temporelles qui genere done 1 image t-LLLL, 1 image t-LLLH, 2 

20 images t-LLH, 4 images t-LH, et 8 images t-H par GOP de 16 images. Les 
images t-L, t-LL, t-LLL et bien sur les images originales sont ignores pour le 
codage en aval puisqu'elles sont a Porigine de la decomposition en sous- 
bandes pour fournir les images decorrelees a chaque niveau. Cette 
decomposition permet done une nouvelle repartition de I'energie en generant 

25 une image utile de frequence temporelle basse t-LLLL, qui represente une 
moyenne de I'ensemble du GOP et dans laquelie est concentree I'energie, et 
quatre niveaux d'images de frequence temporelle haute de faible energie, 
soit 5 bandes de frequence. Ce sont ces images qui sont transmises au 
circuit d'analyse spatiale pour une decomposition spatiale en sous-bandes. 

30 Pour realiser les filtrages, un champ de mouvement est estime 

entre chaque paire d'images a filtrer et cela pour chaque niveau. C'est la 
fonction de Testimateur de mouvement 7. 

D'une maniere pratique, seul un champ de vecteurs 
mouvement est calcule, de A vers B ou de B vers A. L'autre champ de 

35 vecteurs mouvement est deduit du premier, generant des pixels non 
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connectes, c'est a dire non affectes d'un vecteur mouvement et 
correspondant a des trous dans le champ de vecteurs mouvement inverse. 

L'operation de filtrage est effectuee sur chaque paire d'image 
du GOP original, pour obtenir un premier niveau de resolution temporelle. Le 
processus est repete plusieurs fois sur les images resultantes de la bande de 
frequence temporelle basse, pour obtenir les niveaux de resolution 
temporelle suivants. Dans le cas d'un GOP de 16 images, le processus 
genere 8 bandes de frequence temporelle appelees L, H a LL, LH, LLL, LLH, 
LLLL, LLLH. 

Comme indique plus haut, le probleme de pixels non connectes 
se traduit par une moins bonne decorrelation lors du filtrage temporel et done 
une moins bonne compression des donnees. II peut se produire a chacun 
des niveaux de decomposition du GOP ou une estimation de mouvement est 
effectuee. 

Selon un mode de realisation de ['invention, un circuit de 
commutation du mode est mis en ceuvre pour controler Panalyse temporelle, 
circuit commande par la pertinence de Testirnation de mouvement. II permet 
de gerer le cas od un nombre important de pixels non connectes est obtenu 
lors de I'estimation de mouvement. 

La figure 4 represente un dispositif avec un tel circuit. Les 
memes references sont utilisees pour designer les circuits semblables a ceux 
de la figure 1 qui ne sont done pas decrits a nouveau. 

Les informations de mouvement provenant du circuit 
d'estimation de mouvement reference 2 sont transmises a un circuit de 
commutation de mode reference 7. Ce circuit est relie au circuit d'analyse 
temporelle 1 pour lui transmettre les informations de mouvement et les 
informations sur le mode de codage a exploiter. 

La figure 4 represente un organigramme simplifie de 
ralgorithme mis en ceuvre pour le fonctionnement du circuit de commutation. 

Soit A et B deux images successives d'un niveau de 
decomposition temporelle donne, disponibies a I'etape referencee 7. Le 
mouvement est par exemple estime de i'image B vers I'image A et Timage A 
est done I'image de reference. Une etape referencee 8 effectue une 
estimation de mouvement de cette image B vers I'image A. L'etape suivante 
9 realise un calcul du pourcentage P1 de pixels non connectes dans I'image 
de reference A par rapport au nombre de pixels de I'image, e'est a dire le 
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nombre de pixels auxquels aucun vecteur mouvement n'est affecte. L'etape 
suivante referencee 10 effectue une comparaison de ce pourcentage P1 a un 
seuil S1 qui est une valeur predefinie. Cette valeur est par exemple un 
pourcentage de I'ordre de 20 a 25 %. 
5 Si le nombre de pixels non connectes est inferieur ou egal a 

cette valeur, le champ de vecteurs mouvement est consid^re comme correct 
et la prochaine etape est l'etape 11 qui effectue un filtrage de mani&re 
classique. 

Les images de frequence basse et haute sont ainsi calculees : 

10 V2 

Ce filtrage, equivalent a celui precedemment decrit, consiste a 
calculer d'abord i'image H. Cette image est obtenue par difference point a 
point de I'image B et de I'image A compens€e en mouvement. Ainsi, on 
retranche a un pixel de B une certaine valeur, interpolee le cas echeant, 
15 pointee par le vecteur deplacement dans A, vecteur mouvement calcule lors 
de Pestimation de mouvement de I'image B vers I'image A. 

L'image L est ensuite deduite a partir de I'image H et non plus 
de I'image B, par addition de I'image A a i'image H compensee en 
mouvement inverse. MC^ B (H) correspond ^ une « decompensation » en 

20 mouvement de I'image (H). Ainsi, on ajoute, a un pixel de A, une certaine 
valeur, interpolee le cas echeant, situee, dans I'image H, a la base d'un 
vecteur deplacement de B vers A et pointant le pixel de A. 

Si le pourcentage de pixels non connectes est superieur au 
seuil S1, le champ de vecteurs mouvement est considere comme non 

25 pertinent et l'etape 12 succede a l'etape 10. 

S'il existe, au niveau temporel traite, une image C posterieure a 
I'image B, test effectue a l'etape 12, cette image C devient une nouvelle 
image de reference possible et le mouvement est estime de I'image B vers 
I'image C, etape 13. 

30 S'il n'y a pas d'image posterieure a I'image B au niveau courant 

traite, c'est l'etape 17 qui succede a l'etape 12. Cette etape code les images 
B et A en mode intra avec le facteur d'echelle approprie pour I'image A. 
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L'etape 14, qui succede a l'etape 13, realise un calcul de 
pourcentage P2 de pixels non connectes dans I'image C pour le champ de 
vecteurs mouvement calcule entre B et C. 

L'etape suivante 15 effectue une comparaison de ce 
5 pourcentage P2 a un seuil S2 qui est une valeur predefinie. Cette valeur est 
par exemple un pourcentage de I'ordre de 20 a 25 %. 

Si le nombre de pixels non connectes est inf§rieur ou 6gal a 
cette valeur, le champ de vecteurs mouvement est considere comme correct 
et la prochaine etape est l'etape 16 qui effectue un filtrage de maniere 
10 classique mais avec cette image C. II s'agit du mode « prediction differee » 
(backward prediction). Les images de frequence basse et haute sont ainsi 
calcul6es : 




B-MC B ^ C (C) 
L = ^2.A 



15 L'information de I'image A se trouve ainsi dans I'image L et 

I'energie de I'image H est reduite en prenant cette reference dans le futur 
pour le filtrage plutot qu'en choisissant simplement ['image B ou en la filtrant 
a partir d'une image precedente non correlee. On obtient ainsi une image 
haute frequence de basse energie. 

20 Si le pourcentage de pixels non connectes est inferieur au seuil 

S2, l'etape 17 succede a Tetape 12. . Cette etape 1 7 code les images B et A 

en mode intra avec le facteur d'echelle approprie pour I'image A, comme 

dans le mode MCTF ou le mode de prediction differee precedent. 

f H = B 

25 L'inverse est bien sur possible qui consiste a prendre Timage A 

comme image haute frequence (H=A) et I'image B comme image basse 
frequence. On pourrait par exemple choisir, pour L, I'image possedant le 
moins d'energie. 

Les etapes 11, 16 et 17 sont done les modes de codage 

30 determines par le circuit de commutation de mode, informations transmises 
au circuit d'analyse temporelle. 



c 



Le choix du mode est ici effectue pour I'image complete. II est 
bien sur tout aussi envisageable de faire une selection du mode pour chacun 
des blocs ou macrobiocs de I'image. 

Le terme V2 , appele facteur d'echelle, relatif par exemple aux 
images L « reelles », c'est a dire obtenues par un filtrage MCTF, est du au 
filtrage MC lift, Ce facteur d'echelle, egalement attribue au codage en mode 
intra des images A, permet d'avoir la meme valeur §nerg6tique au niveau 
des images et vise a faciliter la mise en correspondance lors de I'estimation 
de mouvement pour le prochain niveau temporel, les images etant alors 
homogenes en termes d'enengie. 

L'etape de filtrage el^mentaire decrite ci-dessus est realisee 
pour chaque couple d'image d'un niveau temporel donn6 et cela pour chaque 
niveau temporel jusqu'au niveau au sommet de la pyramide temporelle du 
GOP, quelque soit la pertinence des champs de vecteur mouvement 
quelque soit le mode. Ceci permet de ne pas etre affecte par de fausses 
coupures de scene, correspondant par exemple a un deplacement rapide de 
la camera, decouvrant des zones jusqu'alors cachees. 

A la fin du proc6d6, les images A ou B qui ont ete cod^es en 
mode intra a un niveau donne de decomposition et qui n'ont pas servi 
d'image de reference ou de prediction pour le mode MCTF ou pour ie mode 
de prediction differee aux niveaux de decomposition temporelle suivants, 
sont remises a i'echelle pour correspondre au dernier niveau pour lequel ses 
pixels ont ete explores pour ces modes : 

Fj est Timage L ou H resultant du filtrage de I'image AetBet Fi 
cette image F, remise a I'echelle. 

L'exposant n a appliquer au facteur d'echelle est donn^ en 
fonction du mode, par les formules suivantes : 

- mode MCTF 

r«(z) = o 

\n(H) = 0 

- mode Prediction ou mode de codage intra: 
f«(Z) = «(^)-M 

| n(H) = n(B) 

La valeur de n est ainsi calculee, pour une image L ou H a un 
niveau de decomposition donnee, en fonction de la valeur de n attribuee a 
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Timage A ou B du niveau de decomposition precedent, utilisee 
respectivement pour le calcul de L ou H. 

Ainsi, si les images A et B sont traitees selon le mode MCTF 
pour dormer les Images L et H, alors, quel que soit leur niveau n(A) et n(B) 3 
5 le niveau n attribue a ces images L et H est force a zero. 

Si le mode prediction ou intra est utilise pour donner les images 
L et H & partir des images A et B, affectees du niveau n(A) et n(B), le niveau 
de Timage L est celui n(A) incremente de un et le niveau de Timage H est 
celui de Timage B, n(B). 

10 En se referant a la figure 2 3 si Ton considere une coupure de 

scene apres la quatrieme image du GOP menant a un codage en intra 
effectuS pour !a premiere fois au troisieme niveau de decomposition pour les 
deux images t-LLL puis au quatrieme et dernier niveau, la valeur de n(L) est 
egale a 2 pour Timage t-LLLL et la valeur de n(H) est egale a 1 pour Timage 

15 t-LLLH. Ainsi, en divisant deux fois Timage t-LLLL par le facteur d'echelle, on 
retrouve Timage t-LL qui correspond au dernier niveau auquel cette image 
est utilisee pour le mode MCTF. 

II est possible d'affecter un numero a chacune des images 

20 originales du GOP. Des numeros sont ensuite attribues aux images 
decomposees, un filtrage d'une image A numerotee s avec une image B 
numerotee t donnant une image de basse frequence numerotee s, L 
correspondant a A, et une image de haute frequence numerotee t, H 
correspondant a B. Par exemple, les numeros obtenus pour les images des 

25 niveaux t-LLLL, t-LLLH, t-LLH sont 1, 9, 5 et 13. Pour chaque niveau de 
decomposition, le calcul de n pour une image numerotee i consiste alors en 
une incrementation du niveau n affecte a Timage i du niveau precedent dans 
le cas ou cette image subit un codage intra ou predictif pour donner une 
image basse frequence L. Le compteur est inchang& dans le cas oD cette 

30 image subit un codage intra ou predictif pour donner une image haute 
frequence HL Le compteur est remis a zero dans le cas ou cette image subit 
un codage MCTF. La valeur n attribuee a chaque image originale du GOP 
est in it iafisee a zero. Le calcul se fait a chaque niveau de decomposition 
jusqu'au dernier niveau. 

35 En fait, la valeur n attribuee a une image decomposee 

correspond : 



13 



- pour une image finale obtenue parfiltrage MCTF, a la valeur 

zero, 

- pour une image finale basse frequence obtenue par codage 
intra, au nombre de codages intra realises sur I'image de meme numero 
aboutissant a cette image basse frequence, incremente de un, 

- pour une image haute frequence obtenue par codage intra, au 
nombre de codages intra successifs realises sur I'image de meme num§ro 
aboutissant a cette image haute frequence, 

- pour une image haute frequence obtenue parfiltrage temporel 
avec une image suivante, au nombre de codages intra successifs realises 
sur I'image de meme numero, incremente de un, aboutissant a I'image objet 
de ce filtrage temporel. 

Cette derniere etape de remise a I'echelle vise a calibrer la 
dynamique des images transformees qui ne sont pas des sous-bandes 
temporelles «reelles», c'est a dire des images de sous-bande obtenues par 
filtrage temporel MCTF, en diminuant le poids de ces images. 

L'image sous-bande calibree est une image qui n'est pas 
exploitee pour la synthese des deux images A et B, raison pour laquelle son 
cout est reduit. 

L'allocation de debit est realisee par le paquetiseur 5. 
L'orthogonalite de la transformee temporelle, et egalement sa normalisation, 
sont des points essentiels pour que l'allocation de debit soit optimale panmi 
les differentes images. Ce qui est realise de fayon naturelle lors d'un filtrage 
temporel MCTF normalise pourrait devenir un probleme lorsque d'autres 
modes tels que le mode de prediction differee ou le mode de codage en intra 
sont mis en oeuvre. Si, dans une etape de codage, une, image de frequence 
basse est obtenue, en mode intra ou predictif, en multipliant I'image A par un 
facteur d'echelle pour atteindre la dynamique du niveau temporel, c'est a dire 
pour d'obtenir une image de meme 6nergie que les images obtenues par 
filtrage MCTF, cette ponderation n'est plus souhaitable au niveau de 
l'allocation de bits. Au contraire, un soin particulier doit etre pris pour 
favoriser les images de frequence basse « reelles » obtenues par filtrage 
MCTF, les images de reference pertinentes, par exemple en donnant moins 
de poids aux images codees en mode intra ou predictif. En effet, les images 
de frequence basse reelles, comme on va le voir ci-apres a sont exploitees au 
decodeur pour la reconstruction des deux images A et B au niveau inferieur 
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de decomposition, selon la pyramide hierarchique, B etant fonction de A, ce 
qui n'est pas le cas pour les images codees en mode intra ou predictif. 

L'invention concerne egalement un decodeur expioitant les 
5 donnees codees selon le procede precedemment decrit La figure 5 
represente un tel decodeur. 

Le flux binaire correspondant aux images codees selon le 
procede precedemment decrit sont transmises a Tentree du decodeur. Elles 
sont transmises en parallele a I'entree d'un circuit de decodage entropique 

10 18 et a I'entree d'un circuit de decodage du mouvement 19. Le circuit de 
decodage entropique est relie successivement a un circuit de synthese 
spatiale 20 et a un circuit de synthase temporelle 21 . Ce dernier circuit regoit 
des informations de mouvement du circuit de decodage du mouvement. La 
sortie du circuit de synthese temporelle est reliee a I'entree d'un circuit de 

15 post-filtrage 22 dont la sortie est la sortie du decodeur. 

Le train binaire est done traite par le circuit de decodage 
entropique 18 qui realise les operations inverses du circuit de codage 
entropique au codeur et decode les coefficients ondelettes spatio-temporels 
et les modes de filtrage. 

20 Le circuit de decodage du mouvement 19 recupere dans le flux 

et decode les informations relatives au mouvement pour transmettre au 
circuit 21 les champs de mouvement necessaires a la synthese temporelle. 

Le circuit de synthese spatiale 20 reconstruit les images 
correspondant aux differentes sous-bandes temporelles. Les images sous- 

25 bandes reconstruites sont ensuite mises a Techelle a partir du facteur 
d'echelle approprie, pour effectuer la synthese temporelle. Cette mise a 
Pechelle se fait en fonction des informations de mode transmises et relatives 
aux images utilisees Ions de la decomposition du GOP original, au codeur, 
permettant d'attribuer les valeurs de n aux differentes images. 

30 F^F^"™ 

Ensuite, le circuit de synthese temporelle 21 reconstruit les 
images transformees jusqu'au niveau temporel souhaite, selon leur mode : 

- mode MCTF 

B = J2JT + MC A ^ B (A) 
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- mode de prediction backward 

B = ~j2Jff + MC B ^ C (C) 

- mode de codage intra 

[ B = H 

5 

Les informations de mouvement necessaires a la compensation 
de mouvement proviennent du circuit de decodage du mouvement. Le circuit 
de synthese temporelie realise un decodage en fonction de I'infonmation de 
mode de codage affectee a Pimage a decoder. 
10 Les images en sortie du circuit 21 sont done reconstruites par 

synthese temporelie a partir des coefficients ondelettes temporels. Une £tape 
finale de post-traitement est appliquee par le circuit de post filtrage 22 en 
realisant un filtrage sur I'image permettant de reduire les artefacts de type 
effets de bloc. 

15 Le pourcentage P1 et/ou P2 utilise pour determiner le mode de 

commutation est choisi de I'ordre de 20 a 25%. Ce pourcentage a ete obtenu 
de maniere empirique et d'autres valeurs peuvent bien sQr etre exploitees 
pour la mise en oeuvre du procede de commutation. 

Le mouvement exploite pour le filtrage tempore! d'une paire 

20 d'images peut etre obtenu par simplification ou elaguage, plus connu sous 
Tappellation anglaise de « pruning », du champ de vecteurs mouvement 
calcule par Testimation de mouvement, permettant de limiter le cout de 
codage du mouvement 

Une variante de Tinvention consiste a combiner une structure 

25 de GOP adaptatif au procede precedemment decrit. La taille du GOP est 
alors variable, dependant par exemple de parametres tels que le mouvement 
dans la sequence. 

L'invention s'applique aussi bien a un circuit d'analyse 
temporelie de type hybride que de type codage sous-bande. 

30 

Les applications de l'invention concernent la compression video 
avec prediction temporelie. 
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REVENDICATIONS 

1 Procede de codage d'une sequence d'images comprenant une 
analyse temporelle hierarchique (1) d'un groupe d'images realisant un filtrage 
temporel compense en mouvement de paires successives d'images (11) 
pour fournir des images de frequence temporelle basse et des images de 
frequence temporelle haute a differents niveaux de decomposition 
temporelle, cette analyse realisant, pour un niveau de decomposition 
temporelle donne et pour une paire d'images de frequence temporelle basse, 
une etape d'estimation de mouvement (8) d'une image courante B vers une 
image precedente de reference A pour fournir des vecteurs mouvement puis 
un filtrage temporel compense en mouvement (11) de ces images pour 
fournir une image de frequence temporelle basse (L) et une image de 
frequence temporelle haute (H) d'un niveau de decomposition superieur, le 
dit filtrage temporel etant remplace par un codage en mode intra (16, 17) 
pour obtenir au moins une image de frequence basse (L) ou haute (H) si 
Pimage courante a un niveau de correlation avec une image precedente 
inferieur a un seuil (10, 15), les images obtenues de frequence basse (L) 
etant alors mises a I'echelle pour etre adaptees, au niveau energetique, aux 
images obtenues par le dit filtrage temporel compense en mouvement, 
caracteris6 en ce que, parmi I'image basse frequence et les images haute 
frequence finales decomposees obtenues en fin d'analyse : 

- il selectionne les images obtenues par un codage intra d'une 
image du niveau de decomposition inferieur avec la condition 
supptementaire, pour les images haute frequence, que cette image provient 
elle-meme d'un codage intra. 

- ii calibre Timage selectionnee en effectuant au moins une etape 
inverse de l'€tape de mise & I'echelle. 

2 Procede selon la revendication 1, caracterise en ce que le 
nombre d'etape inverses effectuees correspond au nombre de codages intra 
successifs d'une image basse frequence (L) pour arriver a I'image 
selectionnee s'il s'agit d'une image selectionnee haute frequence, ce nombre 
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etant incremente de un s'il s'agit de I'image selectionnee basse frequence 
(L). 

3 Precede selon la revendication 2, caracterise en ce qu'il 
comporte, pour le calcul d'une image frequence basse L ou haute H, un 
5 filtrage temporel entre I'image courante et une image suivante (16) de la 
paire d'images suivante, si la correlation entre I'image courante et I'image 
precedente est inferieure a un seuil (10) et si la correlation entre I'image 
courante et cette image suivante est superieure a un seuil (15), I'autre image 
H ou L etant obtenue par codage intra (16) et en ce que cette operation de 
10 filtrage est assimil^e au codage intra et non pas au filtrage temporel pour 
I'etape de selection. 



4 Precede selon la revendication 3, caracterise en ce qu'il affecte 
a chaque image du groupe d'images un numero d'image, en ce qu'il effectue 
15 un sulvi de ces images numerotees lors de la decomposition en attribuant un 
compteur pour chaque numero, ce compteur etant actual ise a chaque etape : 

- le compteur est incremente chaque fois qu'une image de 
frequence basse (L) est obtenue en mode intra, 

- le compteur est inchange chaque fois qu'une image de 
20 frequence haute (H) est obtenue en mode intra ou lore d'un filtrage temporel 

avec une image suivante, 

- le compteur est remis a zero chaque fois qu'une image est 
obtenue par filtrage temporel compense en mouvement, avec une image 
precedente. 
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5 Procede selon la revendication 1, caracterise en ce que !es 
images de frequence haute H et de frequence basse L sont obtenues, lors du 
filtrage temporel compens6 en mouvement de deux images successives A et 
B a partir des operations suivantes : 

L — MC^\_ B (II) 

A= 72 

B = a/2 JH + MC A< _ B (A) 
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MC correspondant a la compensation en mouvement selon !e 
champ de vecteurs de B vers A, de rimage H. 
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6 Procede selon la revendication 5, caracterise en ce que les 
images L et H sont obtenues, par codage intra, selon les formules 

et en ce que les images H et L sont obtenues, par filtrage avec 
rimage suivante pour H et par codage intra pour L, selon les formules 
suivantes : 

H _B-MC B ^ C (C) 
L = 

MC correspondant a la compensation en mouvement selon le 
champ de vecteurs de B vers C, de rimage C. 



7 Procede selon la revendication 1, caracterise en ce que les 
15 images calibrees obtenues par analyse temporelle (1) sont ensuite traitees 
par analyse spatiale (3). 



8 Proc6d6 selon la revendication 1, caract§ris6 en ce que le 
niveau de correlation est calcule en prenant en compte le nombre de pixels 
20 connectes, c'est a dire relies par un vecteur de mouvement. 



9 Procede de decodage d'une sequence damages codees selon le 
procede de la revendication 1 , caracterise en ce qu'il effectue une etape de 
calibrage inverse (21) d'images selectionnees a decoder, la selection des 
25 images et le nombre d'etapes inverses etant fonction d'une information 
associee a I'image a decoder. 
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10 Procede de decodage d'une sequence d'images codees selon 
la procede de la revendication 4, caracterise en ce qu'il effectue une etape 
de calibrage inverse (21) d'images selection nees a decoder, la selection et le 
nombre d'etapes inverses etant fonction de la valeur d'un compteur affecte a 
rimage lors du codage. 

11 Codeur pour la mise en oeuvre du procede selon la 
revendication 3, comportant un circuit d'analyse temporelle (1) exploitant le 
filtrage temporel compense en mouvement et le codage intra, caracterise en 
ce que le circuit selectionne, parmi I'irnage basse frequence et les images 
haute frequence finales decomposers obtenues en fin d'analyse, les images 
obtenues par un codage intra d'une image du niveau de decomposition 
inferieur ou par un filtrage temporel entre I'irnage d'une paire d'images et 
Fimage suivante de la paire d'images suivante du niveau de decomposition 
inferieur, avec la condition supplemental, pour les images haute frequence, 
que cette image provient elle-meme d'un codage intra et en ce qu'il effectue 
au moins une etape inverse de Tetape de mise a Techelle pour les images 
selectionnees. 

12 D6codeur pour le decodage de sequence d'images codees 
selon le procede de la revendication 1, comportant un circuit de synthese 
temporelle (21), caracterise en ce que le circuit comporte des moyens pour 
effectuer un calibrage inverse d'images a decoder, la selection des images et 
le nombre de calibrages inverses etant fonction d'une information associee a 
I'irnage a decoder et reyue par le decodeur. 
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